
import numpy as np
import pandas as pd
import plotly.express as px
from plotly.subplots import make_subplots
import plotly.graph_objects as go
import plotly.io as pio


import plotly.io as pio
pio.renderers

Renderers configuration
-----------------------
    Default renderer: 'plotly_mimetype+notebook'
    Available renderers:
        ['plotly_mimetype', 'jupyterlab', 'nteract', 'vscode',
         'notebook', 'notebook_connected', 'kaggle', 'azure', 'colab',
         'cocalc', 'databricks', 'json', 'png', 'jpeg', 'jpg', 'svg',
         'pdf', 'browser', 'firefox', 'chrome', 'chromium', 'iframe',
         'iframe_connected', 'sphinx_gallery', 'sphinx_gallery_png']


pio.renderers.default = "notebook"


def equivalencia_linha(tabulacao_cruzada):
    """Essa função determina as esquivalências por linha entre dois mapas de uso e cobertura da terra (UTC).
        Recebe como entrada uma matriz de tablução cruzada entre os dois mapas.
    """
    
    mapeamento_linha = []
    for index, row in tabulacao_cruzada.iterrows():
        max_row = row.sort_values(ascending=False)
        mapeamento_linha.append(tabulacao_cruzada.loc[: , max_row.index[0]])
    
    mapeamento_linha = pd.DataFrame(data=mapeamento_linha)
    
    linhas = mapeamento_linha.index.tolist()
    colunas = mapeamento_linha.columns.tolist()
    data_tuples = list(zip(colunas, linhas))
    mapeamento_linha = pd.DataFrame(data_tuples, columns=['Quarto_Inventario','MapBiomas'])
    
    for i in range(len(mapeamento_linha)):
        mapeamento_linha.loc[i, "Size"] = tabulacao_cruzada.loc[(mapeamento_linha["Quarto_Inventario"][i])].max()
        
    return mapeamento_linha


def equivalencia_coluna(tabulacao_cruzada):
    """Essa função determina as esquivalências por coluna entre dois mapas de uso e cobertura da terra (UTC).
        Recebe como entrada uma matriz de tablução cruzada entre os dois mapas.
    """
    
    mapeamento_coluna = []
    for column in range(0, tabulacao_cruzada.shape[1]):
        max_column = tabulacao_cruzada.iloc[:, column].sort_values(ascending=False)
        mapeamento_coluna.append(tabulacao_cruzada.loc[max_column.index[0], :])
    
    mapeamento_coluna = pd.DataFrame(data=mapeamento_coluna)
    
    linhas = mapeamento_coluna.index.tolist()
    colunas = mapeamento_coluna.columns.tolist()
    data_tuples = list(zip(colunas, linhas))
    mapeamento_coluna = pd.DataFrame(data_tuples, columns=['MapBiomas', 'Quarto_Inventario'])
    
    mapeamento_coluna.loc[:, ("Size")] = 0
    
    for i in range(len(mapeamento_coluna)):
         mapeamento_coluna.loc[i, "Size"] = tabulacao_cruzada.loc[:, (mapeamento_coluna["MapBiomas"][i])].max()
        
    return mapeamento_coluna


def legenda_harmonizada(mapeamento_linha, mapeamento_coluna):
    """
        Determina a harmonização das legendas a partir das harmonizações por linha e por coluna.
    """
    
    legenda = pd.merge(equivalencias_linha, equivalencias_coluna, how="outer")
    
    return legenda


def nodify(node_names):
    '''
        Cria os nódulos para agrupar cada legendas em uma coluna a partir da legenda gerada
        pela função harmonizacao_2_sankey e geras as cores de cada nódulo por coluna.
    '''
    # uniqe name endings
    ends = sorted(list(set([e[-1] for e in node_names])))
    
    # intervals
    steps = 0

    # x-values for each unique name ending
    # for input as node position
    nodes_x = {}
    node_colors = {}
    xVal = 0
    for e in ends:
        if e != " ":
            nodes_x[str(e)] = xVal
            xVal += steps + 0.3
        else:
            nodes_x[str(e)] = xVal
            xVal += steps
            
    for e in ends:
        if e != "'":
            node_colors[str(e)] = '#84caa0'
        else:
            node_colors[str(e)] = '#37986a'

    # x and y values in list form
    x_values = [nodes_x[n[-1]] for n in node_names]
    y_values = [0.01]*len(x_values)
    
    node_colors = [node_colors[n[-1]] for n in node_names]
    
    return x_values, y_values, node_colors


def df_2_sankey(df,cols,values,hover_value=None):
    """ 
        Helper function to convert a dataframe of relationships to 
        Plotly Sankey format.
    """
    colors = ['#D0EDA6','#EDEF7B','#EF7B84','#00308f','#eedc82','#c66']
    out = df.copy()
    entities = dict()
    vals_ = [values,hover_value]
    try: 
        vals_.remove(None)
    except:
        pass
    
    # get dict of uid for each entity in each level from 0...n
    for n,c in enumerate(cols):
        if n == 0:
            out[f'{c}_'] = pd.factorize(out[c])[0]
        else:
            out[f'{c}_'] = pd.factorize(out[c])[0] + (out[f'{cols[n-1]}_'].max()+1)
        entities[n] = dict(out[[cols[n]+'_',cols[n]]].values)

    # create df edge list between source,targets
    edge_list = list()
    for i in range(0, len(cols), 1):
        slice_ = cols[i:i+2]
        if len(slice_)==2:
            el_ = out.groupby([f'{c}_' for c in slice_],as_index=False)[vals_].sum()
            el_.columns = ['source','target']+vals_
            edge_list.append(el_)
    edge_list = pd.concat(edge_list,ignore_index=True)

    # Sankey node definitions are simply the ordered uid/names of each entity 
    labels = [v[i] for k,v in entities.items() for i in v] # use v[i] for name, i for uid
    node_colors = [colors[k] for k in entities.keys() for i in entities[k]]

    # Sankey edge definitions
    source = list(edge_list['source'])
    target = list(edge_list['target'])
    values = list(edge_list[values])
    
    if hover_value is None:
        hover_values = list()
    else:
        hover_values = list(edge_list[hover_value])
    if len(source) == len(target) == len(values):
        return edge_list,entities,labels,node_colors,source,target,values,hover_values
    else:
        raise Exception('Output test fail: lists are of unequal lengths')


def harmonizacao_2_sankey(df):
    """
    Gera os outputs necessários para gerar o diagrama de Sankey via plotly para a legenda harmonizada.
    """      
    equivalencias_linha = equivalencia_linha(df)
    _df = pd.DataFrame()
    _df["source"] = equivalencias_linha["Quarto_Inventario"] + "!"
    _df["target"] = equivalencias_linha["MapBiomas"] + "'"
    _df["value"] = equivalencias_linha["Size"]
    
    equivalencias_coluna = equivalencia_coluna(df)
    _df2 = pd.DataFrame()
    _df2["source"] = equivalencias_coluna["MapBiomas"] + "'"
    _df2["target"] = equivalencias_coluna["Quarto_Inventario"].astype(str) + " "
    _df2["value"] = equivalencias_coluna["Size"]
    
    _df = pd.concat([_df, _df2], ignore_index=True)
    
    legendas = pd.concat([_df['source'], _df['target']])
    legendas = legendas.unique()
    legenda = {x: index for index, x in enumerate(legendas)}
    
    nodified_x, nodified_y, node_colors = nodify(legendas)
    
    source = []
    target = []
    value = []
    for linha in _df.iterrows():
        source.append(legenda.get(linha[1].source))
        target.append(legenda.get(linha[1].target))
        value.append(linha[1].value)
    
    return legendas, source, target, value, node_colors, nodified_x, nodified_y


mapbiomas_col7_legenda = {
    1 : "Floresta",
    3 : "Formação Florestal",
    4 : "Formação Savânica",
    5 : "Mangue",
    49 : "Restinga Arborizada",
    10 : "Formação Natural não Florestal",
    11 : "Campo Alagado e Área Pantanosa",
    12 : "Formação Campestre",
    32 : "Apicum",
    29 : "Afloramento Rochoso",
    50 : "Restinga Herbácea",
    13 : "Outras Formações não Florestais",
    14 : "Agropecuária",
    15 : "Pastagem",
    18 : "Agricultura",
    19 : "Lavoura Temporária",
    39 : "Soja",
    20 : "Cana",
    40 : "Arroz (beta)",
    62 : "Algodão (beta)",
    41 : "Outras Lavouras Temporárias",
    36 : "Lavoura Perene",
    46 : "Café",
    47 : "Citrus",
    48 : "Outras Lavouras Perenes",
    9 : "Silvicultura",
    21 : "Mosaico de Usos",
    22 : "Área não Vegetada",
    23 : "Praia, Duna e Areal",
    24 : "Área Urbanizada",
    30 : "Mineração",
    25 : "Outras Áreas não Vegetadas",
    26 : "Corpo D'água",
    33 : "Rio, Lago e Oceano",
    31 : "Aquicultura",
    27 : "Não Observado"
}

quarto_inventario_legenda = {
    1 : "Floresta manejada (FM)",
    2 : "Floresta não manejada (FNM)",
    3 : "Floresta secundária (FSec)",
    4 : "Corte seletivo (CS)",
    5 : "Reflorestamento (Ref)",
    6 : "Campo manejado (GM)",
    7 : "Campo não manejado (GNM)",
    8 : "Campo secundário (GSec)",
    9 : "Pastagem (Ap)",
    10 : "Pastagem degradada (APD)",
    11 : "Outras formações lenhosas manejadas (OFLM)",
    12 : "Outras formações lenhosas não manejadas (OFLNM)",
    13 : "Outras formações lenhosas secundárias (OFLSec)",
    14 : "Agricultura anual  (AC)",
    15 : "Agricultura perene (PER)",
    16 : "Agricultura semiperene  (CANA)",
    17 : "Água (A)",
    18 : "Reservatório (Res)",
    19 : "Assentamento (S)",
    20 : "Dunas manejadas (DnM)",
    21 : "Dunas não manejadas (DnNM)",
    22 : "Afloramento rochoso manejado (ArM)",
    23 : "Afloramento rochoso não manejado (ArNM)",
    24 : "Mineração (Min)",
    25 : "Solo exposto (SE)",
    26 : "Áreas não observadas (NO)"
}


df = pd.read_csv("../confusion_matrix/tab_cruz_cerrado.csv", index_col="Unnamed: 0")

df.head()


df.shape

(25, 26)


df.index

Index([ 0.0,  1.0,  2.0,  3.0,  5.0,  6.0,  7.0,  8.0,  9.0, 10.0, 11.0, 12.0,
       13.0, 14.0, 15.0, 16.0, 17.0, 18.0, 19.0, 20.0, 21.0, 23.0, 24.0, 25.0,
       26.0],
      dtype='float64')


df.columns

Index(['0.0', '3.0', '4.0', '5.0', '9.0', '11.0', '12.0', '15.0', '20.0',
       '21.0', '23.0', '24.0', '25.0', '29.0', '30.0', '31.0', '32.0', '33.0',
       '39.0', '40.0', '41.0', '46.0', '47.0', '48.0', '62.0', '255.0'],
      dtype='object')


df = df.drop(index=0.0, columns=["0.0", "255.0"])


df.head()


classes_mapa1 = df.columns.astype(float)
classes_mapa2 = df.index

# Mapeando os valores de pixels com os nomes das classes
mapa1_legenda = list(map(mapbiomas_col7_legenda.get, classes_mapa1))
mapa2_legenda = list(map(quarto_inventario_legenda.get, classes_mapa2))


mapa1_legenda

['Formação Florestal',
 'Formação Savânica',
 'Mangue',
 'Silvicultura',
 'Campo Alagado e Área Pantanosa',
 'Formação Campestre',
 'Pastagem',
 'Cana',
 'Mosaico de Usos',
 'Praia, Duna e Areal',
 'Área Urbanizada',
 'Outras Áreas não Vegetadas',
 'Afloramento Rochoso',
 'Mineração',
 'Aquicultura',
 'Apicum',
 'Rio, Lago e Oceano',
 'Soja',
 'Arroz (beta)',
 'Outras Lavouras Temporárias',
 'Café',
 'Citrus',
 'Outras Lavouras Perenes',
 'Algodão (beta)']


mapa2_legenda

['Floresta manejada (FM)',
 'Floresta não manejada (FNM)',
 'Floresta secundária (FSec)',
 'Reflorestamento (Ref)',
 'Campo manejado (GM)',
 'Campo não manejado (GNM)',
 'Campo secundário (GSec)',
 'Pastagem (Ap)',
 'Pastagem degradada (APD)',
 'Outras formações lenhosas manejadas (OFLM)',
 'Outras formações lenhosas não manejadas (OFLNM)',
 'Outras formações lenhosas secundárias (OFLSec)',
 'Agricultura anual  (AC)',
 'Agricultura perene (PER)',
 'Agricultura semiperene  (CANA)',
 'Água (A)',
 'Reservatório (Res)',
 'Assentamento (S)',
 'Dunas manejadas (DnM)',
 'Dunas não manejadas (DnNM)',
 'Afloramento rochoso não manejado (ArNM)',
 'Mineração (Min)',
 'Solo exposto (SE)',
 'Áreas não observadas (NO)']


# Renomeando linhas e colunas de acordo com as classes 
df.columns = mapa1_legenda
df.index = mapa2_legenda

df.head()


df2 = df

df = round(df * 0.09 / 1000000, 2)

df.head()


results = []
for p_key, values in df.items():
    for key, value in values.items():
        results.append({"source": p_key, "target": key, "value": value})
        # print(p_key, key, value)

df_list = pd.DataFrame(results, columns=['target', 'source', 'value'])
df_list


fig = px.imshow(df.replace(0, None), text_auto=True, aspect="auto", height=1000, title='Matriz de Tabulação Cruzada entre os mapas (Mha)')
fig.show()


fig = make_subplots(
    rows=2, cols=1,
    shared_yaxes='all',
    specs=[[{"type": "xy"}],[{"type": "xy"}]],
    subplot_titles=("<b>MapBiomas Col. 7 - cerrado<b>", "<b>Quarto Inventário Nacional - cerrado<b>")
)

fig.add_trace(go.Bar(y= df.sum(), x=df.sum().index, text=((df.sum())).astype(int).astype(str)+"Mha"),
              row=1, col=1)

fig.add_trace(go.Bar(y = df.sum(axis='columns').sort_values(ascending=False), 
                     x=df.sum(axis='columns').sort_values(ascending=False).index, 
                     text=((df.sum(axis='columns').sort_values(ascending=False))).astype(int).astype(str)+"Mha"),
              row=2, col=1)

fig.update_layout(title_text="<b>Distribuição das Classes por Mapa da Região Estudada<b>",
                  height=1000,
                  width=1200,
                  showlegend=False
                  )

fig.update_layout(barmode='stack', xaxis={'categoryorder':'total descending'})

fig.show()


equivalencias_linha = equivalencia_linha(df)
display(equivalencias_linha)


edge_list,entities,labels,colors,source,target,values,hover_values = df_2_sankey(equivalencias_linha,['MapBiomas', 'Quarto_Inventario'],values='Size')

fig = go.Figure(data=[go.Sankey(
    valueformat = ".0f",
    node = dict(
      pad = 5,
      thickness = 20,
      line = dict(color = "black", width = 0.5),
      label = labels,
      color = colors,
      customdata=hover_values,
      hovertemplate='Source: %{label}<br />'+
                    'Amount: %{value}<br />'
    ),
    link = dict(
      source = source, # indices correspond to labels, eg A1, A2, A2, B1, ...
      target = target,
      value = values,
      customdata=hover_values,
      hovertemplate='Source: %{source.label}<br />'+
                    'Target: %{target.label}<br />'+
                    'Amount: %{value}<br />', 
  ))])

fig.update_layout(autosize=True,width=900,height=1200,title_text="<b> Quarto_Inventario > MapBiomas | cerrado<b>", font_size=12)
fig.show()


equivalencias_coluna = equivalencia_coluna(df)
display(equivalencias_coluna)


edge_list,entities,labels,colors,source,target,values,hover_values = df_2_sankey(equivalencias_coluna,['MapBiomas', 'Quarto_Inventario'],values='Size')

fig = go.Figure(data=[go.Sankey(
    valueformat = ".0f",
    node = dict(
      pad = 5,
      thickness = 20,
      line = dict(color = "black", width = 0.5),
      label = labels,
      color = colors,
      customdata=hover_values,
      hovertemplate='Source: %{label}<br />'+
                    'Amount: %{value}<br />'
    ),
    link = dict(
      source = source, # indices correspond to labels, eg A1, A2, A2, B1, ...
      target = target,
      value = values,
      customdata=hover_values,
      hovertemplate='Source: %{source.label}<br />'+
                    'Target: %{target.label}<br />'+
                    'Amount: %{value}<br />', 
  ))])

fig.update_layout(autosize=True,width=900,height=1200,title_text="<b> MapBiomas > Quarto_Inventario | cerrado<b>", font_size=12)
fig.show()


mapeamento = legenda_harmonizada(equivalencias_linha, equivalencias_coluna)
display(mapeamento)


legendas, source, target, value, node_colors, nodified_x, nodified_y = harmonizacao_2_sankey(df2)

fig = go.Figure(data=[go.Sankey(
    arrangement='snap',
    node = dict(
        pad = 15,
        thickness = 20,
        line = dict(color = "black", width = 0.5),
        label = legendas,
        color = node_colors,
        x=nodified_x,
        y=nodified_y
    ),
    link = dict(
      source = source, # indices correspond to labels, eg A1, A2, A1, B1, ...
      target = target,
      value = value
  ))])


fig.update_layout(autosize=True,width=1000,height=1500,title_text="<b> Inventário > MapBiomas > Inventário | cerrado <b>", font_size=12)
fig.show()


legendas, source, target, value, node_colors, nodified_x, nodified_y = harmonizacao_2_sankey(df)

value = [1] * len(value)

fig = go.Figure(data=[go.Sankey(
    arrangement='snap',
    node = dict(
        pad = 15,
        thickness = 20,
        line = dict(color = "black", width = 0.5),
        label = legendas,
        color = node_colors,
        x=nodified_x,
        y=nodified_y
    ),
    link = dict(
      source = source, # indices correspond to labels, eg A1, A2, A1, B1, ...
      target = target,
      value = value
  ))])

fig.update_layout(autosize=True,width=1000,height=1500,title_text="<b> Quarto Inventário > MapBiomas | cerrado <b>", font_size=12)
fig.show()


concordancia_geral = round(100 * mapeamento.loc[:, "Size"].sum() / df.to_numpy().sum(), 2)

print("A concordância geral entre os mapas foi de {}%".format(concordancia_geral), "considerando a harmonização obtida.")

A concordância geral entre os mapas foi de 74.36% considerando a harmonização obtida.

	0.0	3.0	4.0	5.0	9.0	11.0	12.0	15.0	20.0	21.0	...	32.0	33.0	39.0	40.0	41.0	46.0	47.0	48.0	62.0	255.0
0.0	2900627831	0	0	0	0	0	0	0	0	0	...	0	0	0	0	0	0	0	0	0	457042619
1.0	0	49066077	71029883	292198	45451	3179694	9344179	2955831	5655	1194093	...	27060	362187	50377	27	17717	11645	3780	1709	55	245
2.0	0	201035562	394299872	319202	800990	12303538	27803141	48871564	174197	35375652	...	32504	1861257	540234	1522	554636	171471	85846	24164	711	19213
3.0	0	11779788	31193080	425	225523	847341	2570441	9199132	103987	5708989	...	24	88771	151939	44	141025	31965	39748	12005	89	1229
5.0	0	5093491	5137364	0	30824049	347410	754623	2275176	30376	3729447	...	0	16035	91577	0	306322	133101	60636	20719	38	240

	3.0	4.0	5.0	9.0	11.0	12.0	15.0	20.0	21.0	23.0	...	31.0	32.0	33.0	39.0	40.0	41.0	46.0	47.0	48.0	62.0
1.0	49066077	71029883	292198	45451	3179694	9344179	2955831	5655	1194093	67309	...	383	27060	362187	50377	27	17717	11645	3780	1709	55
2.0	201035562	394299872	319202	800990	12303538	27803141	48871564	174197	35375652	79353	...	0	32504	1861257	540234	1522	554636	171471	85846	24164	711
3.0	11779788	31193080	425	225523	847341	2570441	9199132	103987	5708989	582	...	0	24	88771	151939	44	141025	31965	39748	12005	89
5.0	5093491	5137364	0	30824049	347410	754623	2275176	30376	3729447	0	...	0	0	16035	91577	0	306322	133101	60636	20719	38
6.0	1208561	2762603	0	29058	667608	4006468	850855	134	242613	0	...	0	0	3969	11592	0	4452	1883	3904	330	0

	Formação Florestal	Formação Savânica	Mangue	Silvicultura	Campo Alagado e Área Pantanosa	Formação Campestre	Pastagem	Cana	Mosaico de Usos	Praia, Duna e Areal	...	Aquicultura	Apicum	Rio, Lago e Oceano	Soja	Arroz (beta)	Outras Lavouras Temporárias	Café	Citrus	Outras Lavouras Perenes	Algodão (beta)
Floresta manejada (FM)	49066077	71029883	292198	45451	3179694	9344179	2955831	5655	1194093	67309	...	383	27060	362187	50377	27	17717	11645	3780	1709	55
Floresta não manejada (FNM)	201035562	394299872	319202	800990	12303538	27803141	48871564	174197	35375652	79353	...	0	32504	1861257	540234	1522	554636	171471	85846	24164	711
Floresta secundária (FSec)	11779788	31193080	425	225523	847341	2570441	9199132	103987	5708989	582	...	0	24	88771	151939	44	141025	31965	39748	12005	89
Reflorestamento (Ref)	5093491	5137364	0	30824049	347410	754623	2275176	30376	3729447	0	...	0	0	16035	91577	0	306322	133101	60636	20719	38
Campo manejado (GM)	1208561	2762603	0	29058	667608	4006468	850855	134	242613	0	...	0	0	3969	11592	0	4452	1883	3904	330	0

| cerrado ¶

1.1 | Importando pacotes usados ¶

1.2 | Funções usadas ¶

1.3 | Legendas dos mapas de acordo com os valores de pixel ¶

1.4 | Carregando os dados ¶

1.5 | Tratando os dados ¶

1.6 | Mapeando os nomes das classes ¶

2.1 | Análise dos dados ¶

2.1.1 | Tabulação Cruzada ¶

2.2 | Equivalências por linha ¶

2.3 | Equivalências por coluna ¶

2.4 | Legenda Harmonizada ¶

2.5 | Análise das Informações Obtidas ¶

	Formação Florestal	Formação Savânica	Mangue	Silvicultura	Campo Alagado e Área Pantanosa	Formação Campestre	Pastagem	Cana	Mosaico de Usos	Praia, Duna e Areal	...	Rio, Lago e Oceano	Soja	Outras Lavouras Temporárias	Café	Citrus
Floresta manejada (FM)	4.42	6.39	0.03	0.00	0.29	0.84	0.27	0.00	0.11	0.01	...	0.03	0.00	0.00	0.00	0.00
Floresta não manejada (FNM)	18.09	35.49	0.03	0.07	1.11	2.50	4.40	0.02	3.18	0.01	...	0.17	0.05	0.05	0.02	0.01
Floresta secundária (FSec)	1.06	2.81	0.00	0.02	0.08	0.23	0.83	0.01	0.51	0.00	...	0.01	0.01	0.01	0.00	0.00
Reflorestamento (Ref)	0.46	0.46	0.00	2.77	0.03	0.07	0.20	0.00	0.34	0.00	...	0.00	0.01	0.03	0.01	0.01
Campo manejado (GM)	0.11	0.25	0.00	0.00	0.06	0.36	0.08	0.00	0.02	0.00	...	0.00	0.00	0.00	0.00	0.00